聯(lián)系我們
導(dǎo)讀：對于搜索引擎來說，重復(fù)的網(wǎng)頁內(nèi)容是非常有害的。重復(fù)網(wǎng)頁的存在意味著這些網(wǎng)頁就要被搜索引擎多處理一次。更有害的是搜索引擎的索引制作中可能會在索引庫里索引兩份相同的網(wǎng)
發(fā)表日期：2019-03-23
文章編輯：興田科技
瀏覽次數(shù)：13325
標簽：
對于搜索引擎來說，重復(fù)的網(wǎng)頁內(nèi)容是非常有害的。重復(fù)網(wǎng)頁的存在意味著這些網(wǎng)頁就要被搜索引擎多處理一次。更有害的是搜索引擎的索引制作中可能會在索引庫里索引兩份相同的網(wǎng)頁。當有人查詢時，在搜索結(jié)果中就會出現(xiàn)重復(fù)的網(wǎng)頁鏈接。所以無論是從搜索體驗還是系統(tǒng)效率檢索質(zhì)量來說這些重負網(wǎng)頁都是有害處的。
網(wǎng)頁查重技術(shù)起源于復(fù)制檢測技術(shù)，即判斷一個文件內(nèi)容是否存在抄襲、復(fù)制另外一個或多個文件的技術(shù)。
1993年Arizona大學(xué)的Manber(Google現(xiàn)副總裁、工程師)推出了一個sif工具，尋找相似文件。1995年Stanford大學(xué)的Brin(Sergey Brin，Google創(chuàng)始人之一)和Garcia-Molina等人在“數(shù)字圖書觀”工程中首次提出文本復(fù)制檢測機制COpS(Copy protection System)系統(tǒng)與相應(yīng)算法[Sergey Brin et al 1995]。之后這種檢測重復(fù)技術(shù)被應(yīng)用到搜索引擎中，基本的核心技術(shù)既比較相似。
網(wǎng)頁和簡單的文檔不同，網(wǎng)頁的特殊屬性具有內(nèi)容和格式等標記，因此在內(nèi)容和格式上的相同相似構(gòu)成了4種網(wǎng)頁相似的類型。
1、兩個頁面內(nèi)容格式完全相同。
2、兩個頁面內(nèi)容相同，但格式不同。
3、兩個頁面部分內(nèi)容相同并且格式相同。
4、兩個頁面部分重要相同但格式不同。
實現(xiàn)方法：
網(wǎng)頁查重，首先將網(wǎng)頁整理成為一個具有標題和正文的文檔，來方便查重。所以網(wǎng)頁查重又叫“文檔查重”?！拔臋n查重”一般被分為三個步驟，一、特征抽取。二、相似度計算和評價。三、消重。
1.特征抽取
我們在判斷相似物的時候，一般是才能用不變的特征進行對比，文件查重第一步也是進行特征抽取。也就是將文檔內(nèi)容分解，由若干組成文檔的特征集合表示，這一步是為了方面后面的特征比較計算相似度。
特征抽取有很多方法，我們這里主要說兩種比較經(jīng)典的算法，“I-Match算法”、“Shingle算法”。
“I-Match算法”是不依賴于完全的信息分析，而是使用數(shù)據(jù)集合的統(tǒng)計特征來抽取文檔的主要特征，將非主要特征拋棄。
“Shingle算法”通過抽取多個特征詞匯，比較兩個特征集合的相似程度實現(xiàn)文檔查重。
2.相似度計算和評價
特征抽取完畢后，就需要進行特征對比，因網(wǎng)頁查重第二步就是相似度計算和評價。
I-Match算法的特征只有一個，當輸入一篇文檔，根據(jù)詞匯的IDF值(逆文本頻率指數(shù)，Inverse document frequency縮寫為IDF)過濾出一些關(guān)鍵特征，即一篇文章中特別高和特別低頻的詞匯往往不能反應(yīng)這篇文章的本質(zhì)。因此通過文檔中去掉高頻和低頻詞匯，并且計算出這篇文檔的唯一的Hash值(Hash簡單的說就是把數(shù)據(jù)值映射為地址。把數(shù)據(jù)值作為輸入，經(jīng)計算后即可得到地址值。)，那些Hash值相同的文檔就是重復(fù)的。
Shingle算法是抽取多個特征進行比較，所以處理起來比較復(fù)雜一些，比較的方法是完全一致的Shingle個數(shù)。然后除以兩個文檔的Shingle總數(shù)減去一致的Shingle個數(shù)，這種方法計算出的數(shù)值為“Jaccard 系數(shù)”，它可以判斷集合的相似度。Jaccard 系數(shù)的計算方法集合的交集除以集合的并集。
3.消重
對于刪除重復(fù)內(nèi)容，搜索引擎考慮到眾多收錄因素，所以使用了最簡單的最實用的方法。先被爬蟲抓取的頁面同時很大程度也保證了優(yōu)先保留原創(chuàng)網(wǎng)頁。
網(wǎng)頁查重工作是系統(tǒng)中不可缺少的，刪除了重復(fù)的頁面，所以搜索引擎的其他環(huán)節(jié)也會減少很多不必要的麻煩，節(jié)省了索引存儲空間、減少了查詢成本、提高了pageRank計算效率。方便了搜索引擎用戶。
本文首發(fā) 齊寧網(wǎng)絡(luò)營銷策劃 www.qi-ning.com 轉(zhuǎn)載請注明作者信息。謝謝！
齊寧 MSN: i@qining.org
上一篇：
Google ADSense 投放方案更多新聞
2023
東方網(wǎng)站優(yōu)化是在中國東方地區(qū)市場上脫穎而出的重要數(shù)字營銷策略。通過采取關(guān)鍵策略如關(guān)鍵詞研究和優(yōu)化、內(nèi)容優(yōu)化、網(wǎng)站結(jié)構(gòu)優(yōu)化、移動優(yōu)化和本地化優(yōu)化，您的網(wǎng)站可以在東方市場中獲得更高的曝光度和可見性。始終記住，東方網(wǎng)站優(yōu)化是一個不斷發(fā)展和優(yōu)化的過程，您可以通過理解和滿足目標受眾的需求來不斷改進您的網(wǎng)站并獲得更多商機。
View details
2023
2023
蘭州網(wǎng)站建設(shè)是一個實現(xiàn)在這個數(shù)字化時代品牌線上突破的關(guān)鍵步驟。通過一個具有吸引力和實用性的網(wǎng)站，您可以展示您的產(chǎn)品和服務(wù)，擴大業(yè)務(wù)，吸引潛在客戶，并為客戶提供優(yōu)質(zhì)的用戶體驗。在蘭州網(wǎng)站建設(shè)中，網(wǎng)站設(shè)計、內(nèi)容管理、用戶體驗和搜索引擎優(yōu)化是關(guān)鍵因素，需要專業(yè)的團隊來確保項目的成功。立即開始您的蘭州網(wǎng)站建設(shè)計劃，使您的品牌在互聯(lián)網(wǎng)上脫穎而出！
View details
2023
保定網(wǎng)站建設(shè)對于企業(yè)來說是非常重要的一項任務(wù)。通過創(chuàng)建一個專業(yè)且可靠的網(wǎng)站，企業(yè)可以提升品牌形象、拓展市場、增加銷售機會，并為客戶提供良好的用戶體驗。在進行保定網(wǎng)站建設(shè)時，需要關(guān)注用戶體驗設(shè)計、響應(yīng)式設(shè)計、搜索引擎優(yōu)化和安全性等關(guān)鍵要素，并確保進行規(guī)劃、測試和維護。保定網(wǎng)站建設(shè)是企業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵一步，值得精心設(shè)計和執(zhí)行。
View details
